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SYSTEME PERMETTANT A DES PERSONNES HANDICAPEES DE COMMUNIQUER AVEC LEUR 
ENVIRONNEWIENT EN UTILISANT LE MOU VEMENT DE LEURS YEUX ET PAUPIERES. 

@ La presente Invention consiste a utiliser I'une des der- 
rneres fonctions existantes de I'organisnne de personnes 
gravement handicapees: le mouvement des yeux, afin de 
leur rendre une certaine autonomie en leur permettant de 
comnnunlquer avec leur entourage et d'effectuer des opera- 
tions de la vie courante comnne la mise en route ou Textinc- 
tion des apparells de leur envlronnement (television, 
eclairage, store d'occultation,...). On utilise une paire de lu- 
nettes, dont les repose-nez ou une partie des porte-verres 
gauche et droit sont equipes d'une cellule photo6lectrique 
ou d'une micro-cam6ra (A, B) dont le rfile est de suivre et de 
transmettre les nnouvements des yeux. 

Ce dispositif optique est associ6 k un bottler 6Iectronl- 
que qui fournit I'alimentation des capteurs (cellule ou came- 
ra) (A, B) et interprfete les signaux ou Images des yeux 
suivant un langage simple du type: oeil ouvert, oeil ferme, 
cell en position gauche, etc... Toutes ces combinaisons 
constituent le langage des yeux. Dans un boTtier electroni- 
que, une logique d'interpr6tation et de commande associe a 
chaque mouvement ou association de mouvements, un mot 
de pseudo-langage et la commande con'espondante. 





2775588 

1 

La presents invention consiste a rendre une certaine autonomie a des 
personnes gravement handicap6es d la suite d'accident de la circulation auto- 
mobile, d'accident cardio-vasculaire ou neurologique, en leur pemiettant : 

- de communiquer avec leur entourage. 

- d'effectuer ^ distance, ^ partir de leur lit ou de leur fauteuil roulant, la 
mise en route ou Textinction des appareils de la vie courante (t6l6vision, store 
d'occultation,...). 

L'etat de I'art pemiet de constater que la totality des dispositifs d'as- 
sistance a des personnes tres dependantes existants a ce jour sont bases mal- 
heureusement sur les ultimes possibilites mecaniques dont dispose le malade. II 
s'agit dans les cas les moins graves, si cette hi6rarchie peut etre utilisee, de 
commande ; 

- manuelle pour des personnes gravement atteintes aux membres in- 
f6rieurs et/ou ^ la coionne vert6brale, 

- a la bouche pour des tetraplegiques ou des personnes ag6es gra- 

bataires, 

- S Taide d'appareils detectant le mouvement de la paupi6re pour les 
cas extremes (blocked in syndrom). 

La presente invention consiste a utiliser, parmi les demi6res fonctions 
existantes de Torganisme du malade, en plus du mouvement des paupi6res le 
mouvement des yeux. II est alors possible de creer un veritable langage de 
communication : " le langage des yeux". 

Elle a done pour objet un systdme destine a permettre a des person- 
nes de communiquer avec leur entourage at leur environnement, caract6ris6 en 
ce qu'il comprend un dispositif destin6 ^ capter le mouvement des yeux et des 
paupieres, a base d'une (ou de plusieurs) cellule photoelectrique ou de micro- 
camera, ce dispositif 6tant supports sur la personne par un support, chaque po- 
sition de Toeil et/ou des paupieres etant int6gr6e comme un element consider^ 
comme un constituant d'un pseudo-langage. utilise par la personne pour com- 
muniquer avec son entourage et son environnement, 

Uinvention consiste d utiliser une paire de lunettes, 6quipee ou non de 
verres correcteurs, dont les repose-nez, ou une partie des porte-verres gauche 
et droit, sont 6quipes de fibres optiques (figure 1). Les fibres optiques, une par 
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oeil, sont raccordees a un boTtier 6lectronique plac6 a proximite du malade sur la 
table de chevet ou sur le malade lui-meme (ceinture. ,..). 

Ces fibres optiques peuvent gtre du type dit : " conducteur de lumiere" 
ou du type " conducteur d'image". Elles sont 6quip6es d leur extr6mit6 d'une 
5 cellule photoelectrique ou d*une micro-camera electronique dont le role est de 
suivre les mouvements des yeux. La cellule photo6lectrique, ou la camera se 
contente pour fonctionner, de r6clairage ambiant ou d'un 6clairage additionnel 
v6hicule par la fibre et non g§nant pour Toeil, sa sant6 et le confort du malade. 
c'est-^-dire d tr6s faible eclairement ou a eclairement non directement pergu par 
10 le malade. dans le spectre infrarouge par exemple; en ce cas la fibre optique est 
double, une premiere partie de la fibre est destinee a eclairer Toeil et la deuxi6me 
sert & transmettre I'image. En fonction de la taille des cameras ou des cellules 
photoelectriques. celles-ci se trouvent soit sur les lunettes (figure 1 , position A et 
B); en ce cas, il n'y a plus de fibre optique, la transmission des positions de I'oei! 
15 se fait par fil 6lectrique. soit dans le boTtier electronique (figure 1, position C), en 
bout des fibres optiques. 

Le boTtier electronique associ6 au syst6nrie optique : 

- foumit Talimentation des capteurs (cellule ou camera), 

- interprSte les diff6rentes positions des yeux qui sont au nombre de 
20 quatorze (voir detail en figure 2), 

- oeil ouvert. 

- oeil ferme, 

- oeil en position S gauche, 

- oeil en position a droite, 
25 - oeil en position en haut, 

- oeil en position en bas, 

- paupidre femn6e moins de x secondes (battement), 

- paupi§re ferm6e depuis plus de x secondes (repos), 

avec la possibility de combinaison entre les deux yeux comme par exemple : oeil 
30 gauche ouvert, oeil droit fenme. 

Toutes ces combinaisons constituent le "langage des yeux". 
Dans le boTtier Electronique, une logique classique associe d chaque 
mot de ce pseudo langage, une commande, C'est le dispositif le plus simple qui 
pennet au malade de donner une dizaine d'ordres environ. 
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Mais il est 6galement possible dans un module plus 6volu6 d'associer 
le mouvement des yeux au pilotage de la souris d'un ordinateur personnel. Le 
clignement ou un mouvement predetemnine d'une paupi^re ayant valeur du "die" 
de la souris. Uordinateur, qui utilise un traitement de texte cx)urant comme par 
5 exemple " Word" de "Microsoft", marques d6pos6es, affiche a I'ecran une barre 
de menu avec des icones ergonomiques et intuitives. (exemple d'ecran en figure 
3). Le malade peut donner des ordres d'allumage ou d'extinction ^ des appareils. 
II peut commander sur un t6l6viseur, le changement de chaTne ou le niveau so- 
nore, demander la descente d'un store electrique, appeler une infinmiere, et 
1 0 m6me r6diger un texte, voire participer k un jeu video 6lectronique. 

Details des icones : 

Figure 4 : 

k - le malade appelle rinfimaiere et peut lui indiquer son d6sir : a = 
malade, d = j'ai faim, g = j'ai soif , j = sanitaire, m = bain ou douche; 
15 b. c - demande de pouvoir tetephoner ou allumer la television, f = 

composition du num6ro ou choix du canal TV; 

0 = allumage du poste de radio, i = r6glage du volume sonore (est 
commun a TV et radio); 

e - ajustement de r^clairage (analogique ou tout ou rien); 
20 h - commande de la ventilation (analogique ou tout ou rien); 

1 = hauteur des stores d'occultation; 
n = reglage temperature de la pi^ce, 

Toutes ces demandes de commandes sont transmises par le boTtier 
electronique au PC qui, par Tintermediaire d'une carte d'entrees-sorties analogi- 
25 que et tout ou rien, pilote les differents appareils temiinaux. La liaison entre boT- 
tier et PC peut se faire par tout moyen tel que : infrarouge. radio, liaison s6rie ou 
paralldle utilisant Tun des ports de communication du PC. 

Le syst6me selon Tinvention comprend : 

- un dispositif destine d capter le mouvement des yeux et des paupie- 
30 res ^ base d'une ou de plusieurs cellules photo^lectriques ou de micro-cameras. 

ou de tout autre systeme optique ou opto6lectronique; 

- le support dudit dispositif est constitue de lunettes ou de tout sys- 
t6me remplissant la meme fonction en permettant le suivi du regard et du rtiou- 
vement des paupiSres; 
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- les moyens d'eclairage additionnel sont constitu6s d'une fibre optique 
ou d'une source d'eclairement annexe quelle que soit la longueur d'onde d'6mis- 
sion; 

- des moyens de traitement de I'image du nnouvement des yeux et des 
5 paupieres qui, soit se situent (figure 1) au niveau proche (A,B) de Toeil et trans- 

mettent les infonmations au niveau de relectronique d'exploitation par un signal 
6lectrique ou optique, soit sont deportes (C) au moyen d*une fibre optique (1.2) 
conductrice de lumiere ou d'image vers relectronique de traitement; 

- des moyens permettant de transformer les mouvements des yeux et 
10 des paupieres en informations analogiques ou binaires; 

- des moyens permettant d'affecter ci chacune de ces infomriations 
r6quivalent d'une commande 6lectrique, m6canique, hydraulique. que ces 
commandes servent aux besoins du malade ou puissent etre reprises par un 
membre de sa famille, du personnel de soin ou de gestion; 

15 - des moyens de connexion par liaison serie. parall6le, radio, optique 

ou tout autre technique, a un ordinateur du type personnel, ou par un r6seau in- 
fomnatique, au systeme de surveillance ou de gestion d'un hfipital ou d'une clini- 
que; 

- des moyens grace auxquels les infonmations binaires ou analogiques 
20 transmises S Tordinateur ou d tout autre moyen de traduction et/ou d*action, sont 

mises en con"6lation avec des fonctions pr6cises de commande ou de communi- 
cation. 



2775588 

5 

REVENDICATIONS 

1. Systeme destin6 ^ permettre d des personnes de communiquer 
avec leur entourage et leur environnement, caract6rise en ce qu'il cx»mprend un 
dispositif destine a capter le mouvement des yeux et des paupieres, a base 
5 d'une (ou de plusieurs) cellule photodlectrique ou de micro-cam6ra, ce dispositif 
etant supporte sur la personne par un support, chaque position de Toeil et/ou des 
paupieres 6tant int6gr6e comme un element considere comme un constituant 
d'un pseudo-langage. utilise par la personne pour communiquer avec son entou- 
rage et son environnement. 
10 2, Systeme suivant la revendication 1, caracteris6 en ce que le sup- 

port pour le dispositif destine a capter le mouvement des yeux et des paupieres 
comporte des lunettes. 

3. Systeme selon Tune quelconque des revendications 1 et 2, caracte- 
rise en ce qu'il comprend des moyens d'6clairage additionnel au moyen d'une 

15 fibre optique (1.2), celle-ci, en ce cas, comportant deux canaux, un pour Teclai- 
rage de Toeil. I'autre pour le retour de Pinformation de positions. 

4. Systeme selon Tune quelconque des revendications 1^3, caract6- 
ris6 en ce qu'il comprend des moyens d'eclairage constrtues d'une source an- 
nexe d'eclairement. 

20 5. Systeme selon Tune quelconque des revendications 1 S 4. caracte- 

rise en ce que les moyens pour capter Timage du mouvement des yeux et des 
paupieres se situent au niveau proche (A,B) de Toeil et cette image est transmise 
au niveau d'une electronique d'exploitation par un signal 6lectrique ou optique. 

6. Systeme selon Tune quelconque des revendications 1 d 4. caract6- 
25 rise en ce que les moyens pour capter ('image du mouvement des yeux et des 

paupieres sont deportes (C) au moyen d'une fibre optique (1,2) conductrice de 
lumiere ou d'image vers une electronique de traitement. 

7. Systeme selon Tune des revendications 1 a 6, caract6ris6 en ce 
qu'il comprend des moyens pennettant de transformer les mouvements des yeux 

30 et des paupieres en infonnations analogiques ou binaires. 

8. Systeme selon I'une des revendications 1 S 7, caract6ris6 en ce 
qu'il comprend des moyens pemiettant d'affecter ^ chacune de ces informations 
r^quivalent d'une commande 6lectrique, mecanique ou hydraulique. 
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9. Systeme selon Tune des revendications 1 d 8, caract6rise en ce 
qu'il comprend des moyens de connexion par liaison s6rle, parallele, radio, opti- 
que, S un ordinateur du type personnel, ou par un r6seau informatique. au sys- 
teme de sun/eillance ou de gestion. 

10. Systeme selon Tune des revendications 1 ^ 9, caract6rise en ce 
qu'il comprend des moyens grace auxquels les infomnatlons binaires ou analogi- 
ques transmises a I'ordinateur, ou autre moyen de traduction et/ou d'action, sont 
mises en correlation avec des fonctions pr6cises de commande ou de communi- 
cation. 
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Fiber No. 1 



57. The present invention consists of using one of the last 
existing functions of the body of seriously handicapped 
persons, the movement of the eyes, in order to give them a 
certain amount of autonomy by allowing them to 
communicate with their surroundings and to perform [drawing] 
operations of everyday life such as turning on and off 
appliances in their environment (television, lights, window 
blinds, etc.). A pair of eyeglasses is used, the bridge or part 
of the left and right frames of which are equipped with a 
photoelectric cell or a micro-camera (A, B) the purpose of 
which is to follow and transmit the movements of the eyes. 

This optical device is associated with an electronic box 
that furnishes the power to the sensors (cell or camera) (A, 
B) and interprets the signals or images of the eyes by 
following a simple language such as: eye open, eye closed, 
eye in left position, etc. All of these combinations comprise 
the language of the eyes. In an electronic box, the 
interpretation and control logic associates with each 
movement or association of movements one pseudo- 
language word and the corresponding command. 
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electrical connection 
power supply and signal 
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The present invention consists of providing a certain autonomy to seriously handicapped 
persons as the result of an automobile traffic accident, cardiovascular or neurological episode, by 
allowing them: 

- to communicate with their surroundings, 

- from their bed or wheelchair, to remotely turn on or off everyday appliances (television, 
window blinds, etc.). 

In the state of the art, all currently existing devices for assisting very dependent persons 
are unfortunately based on the latest mechanical possibilities available to the patient. Li less 
serious cases, if such a hierarchy can be used, this involves: 

• manual control for persons with serious injury to the lower extremities and/or the spinal 
column, 

• control by mouth for quadriplegics or aged bedridden persons, 

• control by devices detecting the movement of the eyelid for extreme cases (blocked-in 
syndrome). 

The present invention consists of using, among the last existing functions of the patient's 
body, the movement of the eyes in addition to the movement of the eyelids. It is then possible to 
create a veritable communication language: "the language of the eyes." 

A purpose of the invention, therefore, is a system intended to allow persons to 
conmiunicate with their surroundings and their environment, characterized in that it comprises a 
device intended to sense the movement of the eyes and eyelids, based on a (or several) 
photoelectric cell or micro-camera, this device being supported on the person by a holder, each 
position of the eye and/or eyelids being integrated as an element considered as a component of a 
pseudo-language, used by the person to conmiunicate with his surroundings and environment. 

The invention consists of using a pair of eyeglasses, which may or may not be equipped 
with corrective lenses, the bridge or a part of the left and right frame of which are equipped with 
optical fibers (figure 1). The optical fibers, one per 
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cell, are connected to an electronic box placed near the patient on the bedside table or on the 
patient himself (belt, etc.). 

These optical fibers can be of the type called "light conducting" or of the "image 
conducting" type. They are equipped at their end with a photoelectric cell or an electronic micro- 
camera, the purpose of which is to follow the movements of the eyes. The photoelectric cell, or 
the camera, merely operates from ambient light or from supplemental lighting carried by the 
fiber and not annoying to the patient's eye, health and comfort, i.e., very weak lighting or 
lighting that is indirectly perceived by the patient, such as in the infrared spectrum; if the optical 
fiber is double, a first part of the fiber is intended to illuminate the eye and the second is used to 
transmit the image. Depending on the size of the cameras or photoelectric cells, they are located 
either on the eyeglasses (figure 1, positions A and B); in this case there is no optical fiber, the 
transmission of the positions of the eye being provided by electric wire, or in the electronic box 
(figure 1, position C), at the end of the optical fibers. 

The electronic box associated with the optical system: 

• provides the power supply to the sensors (cell or camera), 

• interprets the different positions of the eyes, which are fourteen in number (see detail in 
figure 2), 

• eye open, 

• eye closed, 

• eye in left position, 

• eye in right position, 

• eye in up position, 

• eye in down position, 

• eyeHd closed less than x seconds (blink), 

• eyelid closed for more than x seconds (rest), 

with the possibility of combination between the two eyes, such as left eye open, right eye closed. 

All of these combinations constitute the "language of the eyes." 

In the electronic box, a traditional logic associates a command with each word of this 
pseudo-language. This is the simplest device that allows the patient to issue about ten orders. 
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However, it is also possible in a more developed model to associate the movement of the 
eyes with the control of the mouse of a personal computer, a blink or a predetermined movement 
of an eyelid having the value of a mouse "click." The computer, which uses standard word 
processing such as Microsoft's Word (registered trademarks), displays on the screen a menu bar 
with ergonomic and intuitive icons. (An example of the screen is shown in figure 3). The patient 
can give orders to turn devices on or off. He can control a television set, change the channel or 
sound level, control the lowering of an electric window shade, call for a nurse, and even edit text 
or play a video game. 

Detail of the icons: 
Figure 4: 

k — the patient calls the nurse and can indicate what he wants: a = I'm sick, d = I'm 
hungry, g = I'm thirsty, j = toilet, m = bath or shower; 

b, c — request to make a telephone call or turn on the television, f = dial in the number or 
choice of TV channel; 

0 = turn on the radio, i = adjust the sound volume (common to the TV and radio); 
e - adjust the lighting (analog, or all or nothing); 

h " control the ventilation (analog, or all or nothing); 

1 = height of window blinds; 

n = adjust the temperature of the room. 

All of these control requests are transmitted by the electronic box to the PC which, by 
means of an analog and all or nothing input-output card, controls the various terminal devices. 
The connection between the box and PC can be provided by any means, such as infrared, radio, 
series or parallel connection using one of the PC's communications ports. 

The system according to the invention comprises: 

• a device intended to sense the movement of the eyes and eyelids based on one or more 
photoelectric cells or micro-cameras, or any other optical or optoelectronic system; 

• the support for said device, comprised of eyeglasses or any system fulfilling the same 
function by allowing the gaze and the movement of the eyelids to be monitored; 
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• means for additional illumination, comprised of an optical fiber or an ancillary source of 
illumination, irrespective of the emission wavelength; 

• means of processing the image of the movement of the eyes and eyelids which, whether 
they are positioned (figure 1) at a level near (A, B) the eye and transmit the information to the 
electronic operation by an electrical or optical signal, or they are offset (C) by means of an 
optical fiber (1, 2) that conducts the light or image to the processing electronics; [sic] 

• means for transforming the movements of the eyes and eyelids into analog or binary 
information; 

• means for allocating to each of these pieces of information the equivalent of an 
electrical, mechanical, hydraulic, etc., command, whether these commands serve the needs of the 
patient or can be picked up by a member of his family, care or management personnel; 

• means for connection by series, parallel, radio, optical or any other technique, to a 
personal type computer, or by a computer network, to the supervisory or management system of 
a hospital or clinic; 

• means by which the binary or analog information transmitted to the computer or to any 
other means of translation and/or action are correlated with the specific control or 
communications functions. 
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CLAIMS 



1. System intended to allow persons to communicate with their surroundings and their 
environment, characterized in that it comprises a device intended to sense the movement of the 
eyes and eyelids, based on a (or several) photoelectric cell or micro-camera, this device being 
supported on the person by a holder, each position of the eye and/or eyelids being integrated as 
an element considered as a component of a pseudo-language, used by the person to communicate 
with his surroundings and environment. 

2. System according to the claim 1, characterized in that the support for the device 
intended to sense the movement of the eyes and eyelids comprises eyeglasses. 

3. System according to either of claims 1 and 2, characterized in that it comprises means 
of additional illumination by means of an optical fiber (1,2), which in this case comprises two 
channels, one for illuminating the eye, the other for returning the information about positions. 

4. System according to any of claims 1 to 3, characterized in that it comprises means of 
illumination comprised of an ancillary source of illumination. 

5. System according to any of claims 1 to 4, characterized in that the means for sensing 
the image of the movement of the eyes and eyelids are located near (A, B) the eye, and this 
image is transmitted to the electronic operation by an electrical or optical signal. 

6. System according to any of claims 1 to 4, characterized in that the means for sensing 
the image of the movement of the eyes and eyelids are offset (C) by means of an optical fiber (1, 
2) for conducting light or image to processing electronics. 

7. System according to any of claims 1 to 6, characterized in that it comprises means to 
transform the movements of the eyes and eyelids into analog or binary information. 

8. System according to any of claims 1 to 7, characterized in that it comprises means for 
allocating to each of these pieces of information the equivalent of an electrical, mechanical, or 
hydraulic command. 
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9. System according to any of claims 1 to 8, characterized in that it comprises means for 
connection by series, parallel, radio, optical, to a personal type computer, or by a computer 
network, to the supervisory or management system. 

10. System according to any of claims 1 to 9, characterized in that it comprises means by 
which the binary or analog information transmitted to the computer or any other means of 
translation and/or action are correlated with the specific control or communications functions. 
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Fig. 1 
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Figure 2 

Detail of the combinations (based on the positions of the eyes 

and eyelids) 

[see original] 

1 
4 
4 
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Total: 14 
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[see originaQ 
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